Ngày 6 tháng 4 (25 tháng 3 theo như lịch Julius), Thế vận hội lần thứ nhất chính thức được khai mạc. Đó là ngày thứ hai Tuần Thánh và cũng là ngày lễ kỷ niệm chiến tranh giành độc lập của nước chủ nhà[18]. Sân vận động Panathinaiko chật kín người xem với con số ước lượng vào khoảng 80.000 trong đó có Đức vua Georgios I của Hy Lạp, Hoàng hậu Olga cùng các Hoàng tử. Hầu hết các vận động viên đều tham dự lễ khai mạc và xếp hàng theo từng nhóm quốc gia. Sau bài diễn văn của Thái tử Constantine, vị chủ tịch Ủy ban tổ chức, Hoàng đế Georgios I chính thức tuyên bố khai mạc Thế vận hội:

Sau đó, chín dàn nhạc và đội hợp xướng gồm 150 người đã trình diễn bản Thánh ca Thế vận hội, soạn bởi Spyros Smaras với phần lời của nhà thơ Kostis Palamas. Tuy vậy phải đến tận năm 1958 bài hát này mới được IOC công nhận là bài hát chính thức của Thế vận hội. Nhiều nghi lễ có trong lễ khai mạc của các kỳ Thế vận hội ngày nay vẫn chưa tồn tại khi khởi tranh Thế vận hội Mùa hè 1896: ví dụ như ngọn đuốc Olympic đầu tiên chỉ được thắp tại Thế vận hội năm 1928, vận động viên lần đầu tiên tuyên thệ tại lễ khai mạc là vào năm 1920 và nghi thức trọng tài tuyên thệ thì phải mãi đến năm 1972 mới có lần đầu tiên[19].